一句话批量出片:Pixelle-Video与VideoClaw开源AI视频工厂,短视频和长剧全覆盖

Pixelle-Video与VideoClaw开源AI视频工厂

先说结果
两个开源 AI 视频工厂,正好覆盖创作两端:Pixelle-Video(阿里 AIDC-AI,28K Star)主打"输入一个主题,全自动出短视频",文案→分镜→画面→配音→配乐→合成全链路无人值守,Windows 一键包零门槛;VideoClaw(哈工大深圳张民团队+阿里)用 5 个智能体模拟一个剧组,专攻长视频和连续剧情短剧,场记状态库+VLM 闭环质检解决人物变脸和场景跳戏。新手先用 Pixelle 跑通逻辑,再进阶 VideoClaw 做长剧。

一、为什么需要"AI 视频工厂"

做过知识口播、短剧或带货短视频的人,对这张时间表都不陌生:写脚本一小时、找素材一小时、配图配音再一小时、剪辑合成又是一小时——一条三分钟视频,半天就没了。

想日更?基本只能靠外包,配音、美工、剪辑各收一份钱,单条成本从几十到几百元不等。更多人卡在第三道坎:有想法,但不会剪辑软件、不懂调音、也没有绘画功底。

过去两年 AI 工具很多,但大多数只解决"一个环节":这个能文生图,那个能配音,另一个能出几秒视频片段。环节之间的衔接仍然要靠人,一旦视频拉长,人物换脸、场景穿帮、剧情接不上等问题就会集中爆发。

真正有价值的,是把文案 → 分镜 → 画面 → 配音 → 配乐 → 合成整条链路串起来的"流水线"。本文拆解的两个开源项目正是这个思路:

🎬
Pixelle-Video:阿里国际数字商业集团 AIDC-AI 团队开源,主打"输入一个主题,全自动出短视频",偏"量产短平快"。
🎭
VideoClaw:哈工大(深圳)张民团队联合阿里打造,用多智能体模拟一个剧组,专攻长视频和连续剧情短剧,偏"长线讲故事"。

二、Pixelle-Video:一条无人值守的短视频流水线

Pixelle-Video 的设计目标是"全程零人工"。你只需要给一个主题,系统会依次完成:

1
文案生成:大语言模型(DeepSeek、通义千问、GPT、Ollama 本地模型均可)根据主题写文案,并按镜头逻辑切成分镜。
2
画面生成:每个分镜交给 ComfyUI,生成对应的图片或视频片段,支持 flux、qwen、sdxl、custom 等模型。
3
配音生成:Edge-TTS、Index-TTS、Chat-TTS 等语音模型生成口播配音。
4
视频合成:挂载本地 BGM、自动加字幕,最终输出 MP4。合成风格可选默认、现代化、赛博朋克、自定义。

整个流程可以概括为:文案生成 → 配图规划 → 逐帧处理 → 视频合成,每个环节都能替换成不同的模型、音频引擎和视觉风格。它最擅长知识科普、情感口播、图文轮播这类几十秒到三分钟的内容。

项目信息
📌
GitHub:github.com/AIDC-AI/Pixelle-Video,约 28K Star,Apache-2.0 协议
📌
团队:阿里国际数字商业集团 AIDC-AI
📌
WebUI:Streamlit,默认端口 8501
📌
核心依赖:Python 3.10+、FFmpeg、ComfyUI(本地或云端)

三、VideoClaw:把长视频交给一支 AI 剧组

长视频的难点从来不在"生成一个镜头",而在几十个镜头之间保持一致。VideoClaw 的做法不是做一个更强的黑盒,而是把创作拆成一组可查看、可修改、可回溯的智能体:

智能体角色 职责
编剧智能体 把一句灵感或故事梗概扩写成完整剧本
美术智能体 统一角色形象、场景与道具风格
分镜 & 关键帧智能体 规划镜头语言,绘制关键画面
视频生成智能体 分段生成视频片段,支持 wan2.7、Seedance 2.0、可灵等
音频 & 合成智能体 配音、配乐与后期拼接

它真正的"杀手锏"有两个:

两大杀手锏
🎯
场记状态库:像真实剧组的场记一样,持续记录角色、场景、剧情状态,后续镜头都以此为依据,从根上缓解人物变脸、场景跳戏的问题,也让剧情可以无限续写。
🔍
VLM 闭环质检:用视觉语言模型审核生成的画面和剧情,不合格片段自动回退重生成,不需要人工逐帧检查。

项目背后有 FilmAgent、Anim-Director 等前作积累,团队已有多篇 SIGGRAPH/ACL 论文,学术底子扎实。除了 WebUI,它还能接入微信、飞书等办公软件进行团队协作。

四、怎么选:一张对比表看清差异

对比维度 Pixelle-Video VideoClaw
主打场景 短视频、口播、科普、图文轮播(几十秒~3分钟) 剧情短剧、影视二创、长篇漫剧(3分钟以上,可无限续写)
操作难度 极低,一键生成 中等,支持逐环节精修
部署难度 Windows 一键包零技术;其他系统简单 标准代码部署
核心优势 批量效率高、模板多、上手快 长视频一致性强、流程可控、专业度高
成本消耗 只调用 LLM/文生图 API,费用低 分段生成+质检,API 消耗略高
适合人群 自媒体新手、副业创作者、日更账号 短剧创作者、二创博主、专业内容团队
选型建议
新手先用 Pixelle-Video 跑通"AI 视频生成"的完整逻辑,再去碰 VideoClaw 做长剧情。前者能帮你快速建立"分镜数、风格前缀、成本"之间的直觉,这些经验在后者里同样适用。

五、Pixelle-Video 部署:三种方式

前置准备:FFmpeg(视频合成核心依赖)、大模型 API(DeepSeek 充值 1 元就能用很久)、本地或云端 ComfyUI。

方式 1 Windows 一键整合包(最推荐新手)
1. 从 GitHub Releases 下载最新整合包:
   https://github.com/AIDC-AI/Pixelle-Video/releases/latest

2. 解压到纯英文路径——中文路径是旧版启动失败的头号原因

3. 双击 start.bat,按提示输入邮箱(仅用于统计,不会扣费)

4. 浏览器自动打开 WebUI:http://localhost:8501

整合包自带 Python 与 FFmpeg 运行环境,v0.1.10 之后修复了早期启动闪退问题。
方式 2 macOS / Linux 源码部署
# 1. 安装 FFmpeg
# macOS
brew install ffmpeg
# Ubuntu / Debian
sudo apt-get install ffmpeg
# 验证
ffmpeg -version

# 2. 克隆项目
git clone https://github.com/AIDC-AI/Pixelle-Video.git
cd Pixelle-Video

# 3. 安装 uv 并同步依赖(比 pip 更快更少冲突)
curl -LsSf https://astral.sh/uv/install.sh | sh
uv sync

# 4. 启动 Web 界面
uv run streamlit run web/app.py

# 5. 浏览器访问 http://localhost:8501
方式 3 Docker(服务器/批量运维)
# 一条命令拉起,不需要额外配置运行环境
docker-compose up

# 适合放在服务器上长期跑批量任务
# 访问 http://localhost:8501

六、VideoClaw 部署与基本用法

1
克隆并安装:git clone https://github.com/HITsz-TMG/VideoClaw && cd VideoClaw && pip install -r requirements.txt
2
启动服务:启动后访问本地 WebUI。
3
输入故事灵感:比如"程序员被裁员后创业,最终收购了原公司"。
4
逐环节精修:系统自动生成剧本、角色设定和分镜,每一步都可以手动改。
5
保持 VLM 质检开启(默认开启,强烈建议别关),等待分段生成。
6
剧情续写:成片后可以点"剧情续写",让故事继续往下走。

七、三套实战主题模板

模板 1 Pixelle-Video 知识科普短视频
【主题】为什么天空是蓝色的?3分钟搞懂瑞利散射
【视频类型】知识科普
【时长】约 90 秒
【风格】扁平化插画 + 蓝白配色
【配音】Edge-TTS 中文女声,语速适中
【分镜要求】
- 开头 5 秒:抛出问题"你有没有想过,天空为什么是蓝色的?"
- 中间 60 秒:用动画演示阳光穿过大气层、波长与散射的关系
- 结尾 25 秒:总结要点 + 互动提问"你还想了解什么科学现象?"
【BGM】轻快纯音乐,音量低于配音
【字幕】自动生成,底部居中
模板 2 Pixelle-Video 情感口播短视频
【主题】30岁才明白的5个人生道理
【视频类型】情感口播 + 图文轮播
【时长】约 120 秒
【风格】暖色调 + 电影感滤镜 + 文字卡片
【配音】Index-TTS 低沉男声,语速偏慢
【内容结构】
- 每个道理 20 秒:金句文字 + 对应意境图
- 5 个道理之间用淡入淡出转场
- 开头用"你是不是也这样?"引发共鸣
- 结尾用"点赞收藏,慢慢体会"引导互动
【BGM】治愈系钢琴纯音乐
模板 3 VideoClaw 剧情短剧
【故事灵感】外卖小哥雨天送餐,意外救下被困电梯的女孩,女孩竟是公司CEO,一周后她找到了他
【类型】都市情感短剧
【总时长】约 5 分钟(分 8-10 个镜头)
【角色设定】
- 男主:25岁外卖员,穿黄色工服,骑电动车,朴实善良
- 女主:30岁科技公司CEO,职业装,干练独立
【关键场景】
1. 雨天街头,男主送餐( establishing shot)
2. 电梯故障,两人被困(冲突点)
3. 男主安抚女主,分享自己的故事(情感升温)
4. 救援到达,两人分别(悬念)
5. 一周后,女主到外卖站找男主(反转)
【风格】写实电影感,雨天冷色调,回忆片段暖色调
【质检】VLM 闭环质检开启,确保角色形象一致

八、避坑提醒

避坑提醒
1
Windows 解压路径必须纯英文:中文路径是 Pixelle-Video 旧版启动失败的头号原因。解压到类似 D:\Pixelle-Video\ 这样的纯英文路径。
2
FFmpeg 是硬依赖:视频合成全靠 FFmpeg,缺了会直接报错。部署前先运行 ffmpeg -version 确认安装成功。Windows 一键包已自带,源码部署需自行安装。
3
ComfyUI 可以用云端替代:没有本地显卡也能用,接入云端 ComfyUI 服务即可。但纯本地 ComfyUI 可以离线运行,不消耗 API 额度。
4
VideoClaw 的 VLM 质检别关:虽然质检会增加 API 消耗和生成时间,但关闭后人物变脸、场景跳戏的概率会大幅上升。长视频一致性全靠它。
5
先做短的再做长的:不要一上来就做 5 分钟短剧。先用 Pixelle-Video 做几条 30 秒短视频,熟悉分镜逻辑、风格控制和成本估算,再进阶 VideoClaw。
6
API 成本要提前算:Pixelle-Video 一条 1 分钟视频大约消耗 LLM + 文生图 API 几分到几毛钱;VideoClaw 长视频因为分段生成+质检,成本会高一些。DeepSeek 充值 10 元可以跑很多条。

九、一句话收个尾

对比市面上的商用 SaaS,这两个开源项目最打动人的不是"一键出片"——而是它们把 AI 视频生产从"一个个孤立工具"变成了"一条可替换、可审计、可复现的流水线"。Pixelle-Video 让零技术基础的人也能日更短视频,VideoClaw 让独立创作者也能拍出有剧情连续性的长剧。两者都可以搭配剪映做最后的微调——AI 负责量产,人负责审美,这可能是当下最务实的 AI 视频创作模式。

作者声明:本作品含 AI 生成内容